Tháng 2 năm 1983, Andropov bị hỏng thận hoàn toàn. Tháng 8 năm 1983, ông vào nằm thường trực trong Bệnh viện Trung ương ở phía tây Moskva, nơi ông sống nốt cuộc đời mình. Những người trợ lý của ông lần lượt tới thăm ông trong bệnh viện thông báo những vấn đề quan trọng và các công việc giấy tờ.

Ngay trước khi ông định đi tới Crimea, sức khoẻ của Andropov xấu đi nghiêm trọng. Andropov trở nên mệt mỏi, và phải nghỉ trên một chiếc ghế bằng đá granite trong bóng râm, toàn thân ông ớn lạnh, và ông anh chóng run lên một cách không thể kiểm soát.

Những người duy nhất thường gặp ông là các thành viên Bộ chính trị Dmitry Ustinov, Andrey Gromyko, Konstantin Chernenko và Viktor Chebrikov.

Hai tháng cuối cùng của cuộc đời Andropov ông không thể rời khỏi giường, ngoại trừ khi được nhấc vào một chiếc giường khác để thay tấm ga. Thân thể ông đã kiệt sức nhưng tinh thần còn minh mẫn.[cần dẫn nguồn] Trong những ngày cuối đời Andropov vẫn làm việc thậm chí với cả các công việc ít ý nghĩa như ký giấy tờ hay bày tỏ sự tán thành với các đề xuất của các trợ lý.

Ngày 31 tháng 12 năm 1983 Andropov đón Năm mới lần cuối cùng. Vladimir Kryuchkov cùng với những người bạn khác tới thăm Andropov. Ông cảm thấy vui mừng khi các bác sĩ cho phép uống một cốc champagne. Họ ở lại với ông trong một tiếng rưỡi. Sau khi họ đã về, Andropov ở lại một mình cùng Kryuchkov và nói với ông ta rằng ông muốn chúc sức khoẻ và thành đạt tới mọi người bạn. Ở thời điểm đó Kryuchkov hiểu rằng Andropov sắp chết. Tháng 1, thủ tướng tương lai Nikolai Ryzhkov tới thăm Andropov. Andropov hôn ông và nói ông hãy về.

Cuối tháng 1 năm 1984 sức khoẻ ông dần suy sụp khi tenure của ông bất thần tăng lên vì sự gia tăng chất độc trong máu, vì thế ông trải qua những giai đoạn bất tỉnh. Ngày 9 tháng 2 năm 1984, ngày cuối cùng của Andropov, y tá tới chỗ Boris Klukov, một trong các vệ sĩ của ông, và nói rằng ông không muốn ăn. Cô yêu cầu anh ta thuyết phục Andropov ăn. Klukov tới chỗ Andropov và nói với ông ta rằng ông phải ăn. Andropov cuối cùng đồng ý và họ cùng ăn. Sau đó, Boris Klukov rời căn phòng một lúc. Và sau nửa giờ bỗng nhiên có một cơn choáng bất thần. Các bác sĩ chạy tới phòng Andropov và vị trợ lý của giám đốc an ninh cũng ở đó. Klukov gọi những người trợ lý. Ông tới phòng Andropov, nhìn vào màn hình và thấy những nhịp đập nhẹ.[17] Andropov qua đời hôm đó lúc 16:50 tại bệnh viện. Một số ít lãnh đạo hàng đầu, không phải tất cả thành viên Bộ Chính trị, được biết sự thực trong ngày hôm đó. Theo báo cáo y tế Liên xô, Andropov bị nhiều chứng bệnh: interstitial nephritis, nephrosclerosis, residual hypertension và tiểu đường, càng trở nên nghiêm trọng hơn bởi thận của ông đã mất khả năng làm việc.

Một lễ quốc tang bốn ngày được công bố. Bên trong nhà tang lễ, những người dự lễ tang đi lên theo một cầu thang bằng đá mable bên dưới những chùm đèn phủ vải đen. Trên bệ, giữa một vườn hoa lớn, một dàn nhạc giao hưởng đầy đủ mặc áo đuôi tôm đen chơi các bản nhạc cổ điển. Thân xác mang tính biểu tượng của Brezhnev, mặc đồ đen, áo sơ mi trắng và cà vạt đen-đỏ, nằm trong một quan tài mở với các hàng hoa cẩm chướng, hoa hồng đỏ và hoa tulip, đối diện với một hàng dài những người đưa tang. Ngay bên phải phòng tang lễ, phía trước những hàng ghế dành cho gia đình của vị lãnh đạo, vợ ông - Tatyana Filipovna - với mái tóc đỏ kẹp gọn, ngồi cùng hai người con - Igor và Irina.

Ngày 14 tháng 2, tang lễ bắt đầu. Hai sĩ quan dẫn đầu đoàn tang lễ, mang theo một bức chân dung lớn của ông, tiếp đó là một đoàn dài những vòng hoa đỏ. Sau đó những sĩ quan đội những chiếc mũ Astrakhan cao xuất hiện, mang theo 21 huân huy chương của vị lãnh đạo trong một chiếc đệm đỏ nhỏ. Phía sau họ, quan tài nằm trên một thân pháo được kéo bởi một chiếc xe trinh sát quân sự màu xanh. Ngay phía sau các thành viên gia đình Andropov, các thành viên Bộ Chính trị, hầu như không thể phân biệt được ai với ai - tất cả đều đội mũ lông thú và áo choàng cùng các dải băng đỏ trên tay, dẫn theo nhóm những người đưa tang chính thức cuối cùng. Khi quan tài tới giữa Quảng trường Đỏ, nó được đưa ra khỏi thân pháo và được đặt trên một đòn đám ma đỏ đối diện Lăng Lenin. Đúng 12:45 chiều thứ 3, quan tài Andropov được hạ xuống đất với những tiếng kèn, tiếng còi báo động, tiếng còi nhà máy và những loạt súng tiễn biệt.

Konstantin Chernenko trở thành người kế nhiệm ông.